Ceph社区动态(2022-12-13~2022-1-16)

rosinL2022-01-30Ceph动态Pacific

Ceph社区动态(2022-12-13~2022-1-16)

Qunicy 版本特性冻结,将于3月份发布

Qunicy特性已于2022.1.15特性冻结,进入测试阶段,除了常规测试,此次比之前做更多的伸缩测试,测试规模达到1000+ osd,预计将于2022年3月发布。

近期社区合入pr

  • common,PriorityCache优化,将缓存内容按时间进行组织,更细粒度的优先级划分,不过测试来看,性能提升不明显 pr#43299
  • bluestore,写过程优化,检查写数据bufferlist中0,并跳过,不进行写入,有相关的计数器可以进行观测 pr#43337
  • bluestore,启动过程中减少fsck内存的消耗 pr#43667
  • bluestore bluefs锁优化,调整锁粒度 pr#43794
  • bluestore 使用基于大页的读buffer,暂时默认关闭 pr#43691
  • mon,在create pool时新增--bulk的标记,pg autoscaler会将pool的初始pg数调整为最大的值,默认情况下,pg autoscaler将pool的初始pg数调整为最小值,并动态更改pr#44241
  • mgr, 新增pg_autoscaler全局的打开和关闭命令 pr#43716
  • mgr,实现TTL cache, 来缓存集群信息,减少与集群的交互 pr#44088
  • mgr balancer优化,重构calc_pg_upmaps pr#44002,准备在Qunicy版本实现primary balancer,以实现容量和负载的均衡
  • 重删,cephdeduptool, 新增按chunk(偏移、长度)和对象进行去重的功能,更易于使用重删功能pr#43686
  • rgw, s3select功能,基于arrow实现parquet格式支持pr#40802, 由于依赖的问题,编译时暂时默认关闭该功能pr#44603
  • rgw,新增用户/bucket级别的速率限制 pr#42891
  • rgw中,减少不必要的bucket stats load pr#44538
  • rgw 添加max_header_size的选项,来调整beast的parse buffer大小,默认的大小为16K,最大64K,较大的buffer size能够减少socket read的个数 pr#44029,对比之前的版本中,在pr#29776固定为64K,增加了灵活性。

近期Ceph Developer动态

Ceph社区各个模块会定期举行会议,讨论和对齐开发进展,会后有视频上传至youtube,主要会议信息如下:

会议名称说明频率
Crimson SeaStore OSD Weekly MeetingCrimson & Seastore开发周例会
Ceph Orchestration MeetingCeph管理模块(Mgr)开发
Ceph DocUBetter Meeting文档优化双周
Ceph Performance MeetingCeph性能优化双周
Ceph Developer MonthlyCeph开发者月度例会
Ceph Testing Meeting版本验证及发布例会
Ceph Science User Group MeetingCeph科学计算领域会议不定期
Ceph Leadership Team MeetingCeph领导团队例会

近期主要关注Performance,会议讨论了如下内容:

  • Quincy版本性能测试,需要与pacific版本进行对比,nvme性能测试将基于mako(amd EPYC 7742)进行,部署120 osd,测试涵盖单节点多节点(副本,ec),测试工具主要有fio(rbd cephfs), hsbench(rgw),tcmu-runner(iscsi/nbd), omapbench(mds)
  • Qunicy版本可能会加入恢复测试
  • Pacific 测试过程发现,perf cycles/op monitoring对性能有影响,up to 15%
  • ceph中内存使用情况并不透明,有好多模块内存跟踪不到,可能需要更多内存相关优化。

【免责声明】本文仅代表作者本人观点,与本网站无关。本网站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文仅供读者参考,由此产生的所有法律责任均由读者本人承担。